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基于 图 像 语义 的 用 户 兴 趣 建 模 


摘要 : 【 目的 ] 社交 网 络 环境 下 的 用 户 兴 趣 建 模 是 好 友 推 荐 、 精 准 营销 的 关键 , 利用 微 博 用 户 分 享 的 图 像 ， 提 出 


一 种 基于 图 像 语义 的 用 户 兴 趣 建 模 方 法 ， 旨 在 更 加 准确 地 预测 用 户 的 真实 兴趣 。[ 方法 ] 在 获取 新 浪 微 博 用 户 图 
寺 征 ， 基 于 这 些 特征 使 用 SVM 训练 得 到 图 像 语义 分 类 器 进 


像 数 据 的 基础 上 , 使 用 图 像 的 高 层 语义 表达 用 户 兴 


行 预测 。[ 结果 ] 实验 结果 表明 , 本文 建立 的 模型 能 够 较为 准确 地 预测 用 户 真 实 兴 趣 , 169 位 用 户 分 类 的 准确 率 达 
到 97.38%， 召 回 率 为 98.92%, 下 值 为 98.14%。[ 局 限 ] 由 于 实验 图 像 数 据 集 有 限 , 未 能 完整 地 覆盖 用 户 所 有 的 兴 
趣 类 别 。[ 结论 】 该 模型 能 够 基于 用 户 分 享 的 图 像 较为 准确 地 预测 用 户 兴 趣 , 表明 了 图 像 高 层 语义 的 有 效 性 , 同 
时 为 图 像 高 层 语义 应 用 研究 提供 了 一 定 的 理论 和 技术 基础 。 
关键 词 : 图 像 语 义 ”用 户 兴趣 建 模 ”社交 网 络 支持 向 量 机 
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随 着 网 络 带宽 和 多 媒体 技术 的 迅猛 发 展 , 用 户 获 
取信 息 资 源 的 方式 日 益 多 元 化 , 不 同 的 用 户 由 于 知识 
背景 、 兴 趣 爱 好 等 方面 的 差异 , 需要 的 信息 资源 往往 
是 不 同 的 。 在 这 种 网 络 环境 下 , 为 了 更 好 地 解决 个 性 
化 用 户 兴 趣 需求 ， 建 立 更 为 准确 的 用 户 兴 趣 模型 ， 各 
种 用 户 兴趣 数据 采集 方法 应 运 而 生 。 

目前 ,用 户 兴 趣 数据 主要 有 两 种 : 用 户 行为 数据 
和 用 户 文本 数据 中 ,用 户 行为 数据 , 一 般 通 过 设计 相应 
的 系统 或 系统 插件 来 收集 信息 , 但 是 系统 或 系统 插件 
设计 时 间 周 期 性 长 ,收集 数据 过 程 较 为 漫长 ,需要 消 
耗 一 定 的 人 工 成 本 和 时 间 成 本 。 用 户 文本 数据 获取 较 
为 困难 ,鉴于 数据 隐私 保护 等 原因 ， 一般 不 公开 或 对 
研究 者 开放 ,如 : 检索 日 志 难 以 获得 。 当然 建 模 方法 在 
用 户 兴 趣 研究 方面 非常 成 熟 , 也 在 社交 网 络 下 解决 了 
用 户 获 取 兴 趣 问 题 。 

相 比 较 于 用 户 行为 数据 和 用 户 文本 数据 , 用 户 图 


像 数据 也 能 够 直接 地 、 真 实地 反映 用 户 个 人 的 兴趣 行为 
和 兴趣 取向 , 尤其 是 社交 网 络 中 用 户 分 享 的 各 类 图 像 信 
E, 是 用 户 兴趣 内 容 的 直接 记录 和 表现 方式 ,并 且 用 户 
图 像 分 享 不 受 语言 障碍 限制 , 不 同 的 国家 及 文化 背景 的 
用 户 ,可 以 很 方便 地 通过 分 享 图 像 表达 自己 的 兴趣 和 爱 
好 。 所 以 , 在 社交 网 络 环 境 下 如 何 从 大 量 的 图 像 数 据 中 
识别 用 户 兴趣 , 是 一 个 非常 有 挑战 性 的 问题 。 

建立 用 户 兴趣 模型 ， 必 须 获 取 大 量 真实 的 用 户 兴 
趣 信息 。 获 取 用 户 兴趣 信息 的 过 程 离 不 开 用 户 的 参与 
以 及 他 们 的 信息 反馈 。 根 据 用 户 兴趣 信息 的 获取 方法 ， 
可 以 分 为 两 类 : 显 式 反馈 和 隐 式 反馈 四。 显 式 反 馈 是 指 
用 户 通 过 社交 网 络 或 检索 系统 直接 表达 自己 的 兴趣 爱 
好 , 获取 显 式 反馈 信息 有 两 种 方法 : 一 种 是 用 户 对 自 
己 感 兴趣 的 信息 进行 打分 、 评 价 、 回 复 等 ,从 而 获取 
用 户 的 兴趣 反馈 ; 男 一 种 是 用 户 通 过 网 络 注 册 或 填写 
表单 的 形式 获取 用 户 的 兴趣 反馈 。 这 两 种 方法 的 好 处 
在 于 简单， 能 直接 获得 用 户 的 兴趣 ; 不 足 之 处 在 于 需 
要 用 户 花 费时 间 和 精力 参与 , 不 太 友 好 的 用 户 可 能 会 
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直接 忽视 或 拒绝 做 出 评价 反馈 。 男 外 显 式 反馈 获取 的 
言 息 也 可 能 无 法 反映 用 户 的 真实 兴趣 偏好 , 用 户 可 能 
为 了 完成 任务 或 流 于 形式 而 进行 信息 反馈 ,对 于 这 些 
伪 用 户 兴 趣 反 馈 的 信息 , 在 构建 数据 模型 时 会 存在 一 
定 缺 陷 , 并 不 能 够 真实 反映 用 户 兴趣 。 解 决 伪 用 户 兴 
趣 反馈 信息 问题 是 用 户 兴趣 模型 的 一 个 研究 方向 ， 比 
如 如 何 识 别 伪 用 户 反馈 信息 ， 如 何 提高 用 户 反 馈 信息 
的 数量 和 质量 等 。 隐 式 反馈 方式 是 指 不 要 求 用 户 提供 
任何 信息 ,通过 用 户 对 社交 网 络 或 检索 系统 的 访问 轨 
迹 、 查 询 内 容 及 其 他 特征 反馈 用 户 的 兴趣 。 该 方式 的 
好 处 在 于 不 会 对 用 户 造 成 打 断 或 干扰 , 但 用 户 在 信息 
今 索 过 程 中 的 语义 表达 可 能 会 存在 歧义 , 社交 网 络 的 
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荐 。Chen"| 提 出 一 种 基于 主题 表示 向 量 空间 的 方法 ， 
该 方法 通过 社交 网 络 提取 用 户 兴 趣 数据 的 特征 项 并 计 
算 相应 权 值 来 表示 用 户 兴趣 向 量 , 并 构建 用 户 兴趣 模 
型 。Jiang 等 i 采用 丰富 语义 的 方法 确定 用 户 兴趣 ,并 
通过 社交 网 络 构 建 主题 层次 树 模 型 捕获 用 户 兴趣 ，, 表 
明 用 户 的 兴趣 随时 间 变 化 可 以 被 划分 为 主要 兴趣 和 次 
要 兴趣 。 Yin 等 中 提出 一 种 基于 时 间 上 下 文 感知 混合 模 
型 ， 该 模型 通过 两 个 因素 ， 即 用 户 固有 兴趣 作为 内 部 
因素 和 时 间 上 下 文 作为 外 部 因素 , 该 模型 能 拟 合 用 户 
兴趣 及 变化 时 间 上 下 文 权重 , 能够 对 用 户 兴趣 进行 评 
级 并 结合 时 间 预 测 用 户 的 兴趣 变化 。 这 些 已 有 研究 均 
是 在 文本 类 型 的 数据 上 展开 , 然而 社交 媒体 上 过 短 的 


访问 轨迹 和 兴趣 也 会 随时 间 发 生变 化 。 隐 式 反 馈 在 信 
息 检索 和 用 户 推荐 系统 方面 应 用 非常 成 熟 。 

针对 以 上 问题 ,本 文采 用 显 式 反馈 和 隐 式 反馈 相 
结合 的 方式 , 通过 社交 网 络 显 式 获取 用 户 分 享 的 图 像 
数据 ,借助 隐 式 的 图 像 语 义 挖掘 技术 ， 从 用 户 图 像 语 
义 的 角度 建立 用 户 兴趣 表达 模型 ,并 设计 用 户 兴趣 预 
测 实验 ,对 “用 户 分 享 的 图 像 是 否 能 够 反映 用 户 兴趣 ” 
这 一 问题 进行 探讨 。 


2 相关 研究 


社交 网 络 和 自 媒体 环境 下 的 用 户 兴 趣 建 模 是 当前 
研究 的 热点 方向 ,学 者 们 主要 从 用 户 兴 趣 数 据 的 获 
取 、 用 户 兴趣 模型 的 表示 方法 、 用 户 兴趣 模型 评价 等 
方面 对 该 问题 进行 探索 , 使 用 的 数据 大 都 是 文本 类 型 
的 数据 ,本文 的 创新 之 处 在 于 充分 使 用 与 用 户 相 关 的 图 
像 数 据 ， 从 图 像 语义 挖掘 的 角度 对 用 户 兴趣 进行 建 模 。 
因此 , 用 户 兴 趣 建 模 研究 、 图 像 语义 分 析 与 识别 研究 和 
图 像 语 义 在 用 户 兴 趣 建 模 中 的 应 用 构成 了 本 文 的 研究 
基础 , 将 从 三 个 方面 对 国内 外 相关 研究 进行 全 面 梳理 。 
2.1 用 户 兴 趣 建 模 研 究 

随 着 各 种 推荐 系统 和 社交 网 络 的 发 展 , 学 者 们 开 
始 利 用 社交 网 站 上 产生 的 各 种 数据 构建 用 户 兴趣 模 
型 。Krulwich 外 通过 人 口 统计 学 数据 ,根据 用 户 的 知识 
背景 、 职 业 、 年 龄 、 地 理 分 布 等 特性 对 用 户 进行 兴趣 
推荐 。Yang 等 中 根据 用 户 信息 ( 年 龄 、 性 别 及 地 域 等 ) 
和 在 社交 网 上 的 社区 信息 , 采用 机 带 学 习 方 法 , 得 到 
用 户 和 社会 特征 并 预测 社交 网 络 上 用 户 视 频 的 兴趣 相 
似 度 , 对 具有 相同 或 相似 兴趣 的 视频 做 用 户 兴 趣 推 


文本 数据 并 不 一 定 能 够 真实 反映 用 户 兴 趣 ， 而 且 很 多 
时 候 ,， 用 户 发 布 的 仅仅 是 一 组 不 帝 任 何 文本 的 图 片 ， 
如 何 利 用 这 些 图 片 信息 获取 用 户 兴 趣 是 基于 社交 媒体 
的 用 户 兴 趣 建 模 中 遇 到 的 一 大 难题 。 
虽然 国内 不 少 学 者 对 社交 网 络 中 的 用 户 兴 趣 建 模 
也 进行 了 探索 , 但 同样 都 是 在 文本 数据 上 进行 的 。 文 
献 [9-12] 都 是 在 微 博 短文 本 上 展开 的 , 且 基 本 上 都 是 
采用 文本 分 类 和 主题 挖 据 的 方法 , 其 他 研究 利用 了 社 
会 化 标签 : 易 明 等 六 借鉴 社会 网 络 分 析 方 法 ， 提 出 构 
建 网 站 层次 和 用 户 层次 的 社会 化 标签 网 络 , 对 用 户 产 
生 的 社会 化 标签 进行 序 化 , 进而 分 别 得 到 反映 主题 领 
域 的 社会 化 标签 使 用 文档 和 用 户 标签 网 络 , 通过 两 者 
相似 度 的 计算 形成 细 粒 度 用 户 兴 趣 模型 ; 筷 维 等 叫 则 
从 用 户 对 不 同 标签 的 “认同 度 " 和 “依赖 度 ” 两 方面 衡量 
用 户 的 标签 兴趣 。 另 外 ， 孙 雨 生 等 " ”对 国内 用 户 兴趣 
建 模 研究 进行 综述 , 发 现 目 前 尚未 有 利用 图 像 语 义 构 
建 用户 兴 趣 模型 的 研究 。 
2.20 图像 语义 分 析 与 识别 研究 

随 着 机 器 学 习 的 发 展 , 图 像 语义 分 析 越 来 越 受 到 人 
们 的 关注 。 对 图 像 语义 特征 的 描述 是 图 像 语 义 分 析 的 基 
础 , 已 有 研究 主要 是 从 低层 视角 特征 和 高 层 语义 特征 两 
个 方面 进行 描述 '。 高 售 等 "对 图 像 语 义 分 析 进 行 综述 ， 
认为 图 像 内 容 的 语义 分 析 主 要 包含 语义 化 的 图 像 特征 、 
图 像 语义 的 上 下 文 表达 、 语 义 分 析 的 生成 方法 等 。 

国内 外 学 者 也 在 图 像 语义 分 析 与 识别 的 基础 上 展 
开 了 很 多 应 用 研究 , 但 大 多 是 图 像 检 索 领域 。Lin 等 中 
基于 贝 叶 斯 网 络 构建 语义 模型 用 于 医学 图 像 的 语义 搜 
索 ; Wang 等 六 提出 一 种 语义 描述 模型 ， 用 于 基于 内 容 
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的 图 像 检索 ， 主 要 包括 原始 图 像 层 、 图 像 特征 层 、 图 
像 语义 层 、 多 层 语 义 模式 层 和 语义 标注 层 。 近 年 来 , 更 
多 的 学 者 将 神经 网 络 IDNN、CNN 、RNN) 引 入 到 图 像 
语义 识别 中 , 使 得 图 像 检索 的 效率 大 大 提升 1。 
图 像 高 层 语义 特征 提取 是 图 像 语 义 分 析 与 应 用 的 
基础 ， 也 是 一 项 十 分 复杂 的 工作 。Google 在 2014 年 
图 像 识 别 大 赛 使 用 GoogLeNet 模型 ,通过 深度 神经 
网 络 广 很 方便 地 抽取 了 图 像 中 包含 的 语义 概念 分 布 ， 
这 为 本 研究 提供 了 重要 的 技术 基础 。 
2.3 ”图 像 语义 在 用 户 兴 趣 建 模 中 的 应 用 

将 图 像 语义 应 用 于 用 户 兴趣 建 模 是 一 个 较 新 的 研 
究 方 向 , 成 果 相对 较 少 ,You 等 中 1 利用 用 户 在 社交 网 
站 上 发 布 的 图 像 推 断 用 户 性 别 , 然后 利用 图 像 内 容 挖 
掘 技术 来 预测 用 户 属 性 ,对 用 户 进行 分 类 , 通过 创建 
用 户 组 织 结构 自动 识别 图 像 类 别 及 图 像 内 容 。Segalin 


等 的 通过 Flickr, Facebook, Instagram 社交 平台 构建 
在 线 社交 用 户 的 特征 , 并 为 用 户 创造 基于 图 像 的 研究 
活动 (如 创作 、 上 传 和 喜欢 图 像 ) 作 为 社交 消息 , 使 用 卷 
积 神经 网 络 算法 推理 用 户 人 格 。Yang 等 9 提出 一 种 基 
于 多 维 图 像 (图 像 本 身 文 本 和 社交 超 链接 ) 质 量 预 测 模 
型 用 于 社交 网 络 来 生成 用 户 图 像 。Yang 等 所 通过 图 像 
社交 网 络 平台 ClickD 构 建 角 色 感 知 传染 模型 ， 以 用 户 
在 社交 平台 上 发 布 的 图 片 ， 了解 用 户 的 情感 历史 、 社 会 
地 位 和 社会 结构 ， 从 而 得 出 用 户 的 情绪 和 情感 状态 在 社 
交 网 络 上 的 影响 。Sasaki 等 中 提出 一 种 基于 微笑 图 像 内 
容 情感 传染 系统 , 通过 笑脸 表情 传达 感情 ,发 现 关 系 紧 
密 的 用 户 对 于 微笑 情感 传染 会 有 更 强 效 果 。 


功能 函数 了 的 求解 方法 ,因此 在 用 户 兴 趣 识 别 中 也 涉 
及 两 个 核心 问题 : 如 何 构建 用 户 兴 趣 特 征 向 量 ; 如 何 
求解 用 户 兴趣 识别 功能 函数 大 功能 函数 了 可 使 用 多 种 
算法 (如 SVMPE29，AdaBoostB9 等 ) 进 行 求解 。 用 户 兴 趣 
特征 向 量 有 多 种 构建 方法 ， 如 基于 文本 数据 、 搜 索 行 
为 数据 的 用 户 兴趣 特征 表达 。 本 文 的 核心 思想 在 于 “ 探 
讨 用 户 分 享 图 像 中 的 语义 概念 是 否 能 够 表征 用 户 的 兴 
趣 倾向 ”因此 通过 用 户 发 布 图 片 的 高 层 语义 表达 用 
户 兴 趣 特 征 。 
3.02 ”用 户 兴 趣 分 类 与 语义 兴趣 特征 表达 

用 户 兴趣 识别 的 前 提 是 分 类 类 别 体系 的 构建 。 笔 
者 希望 尽 可 能 在 覆盖 微 博 兴趣 类 别 的 同时 ， 能 够 获取 
足够 的 图 像 数 据 语 料 。 通过 Python BUE IR ASH P? 
日 常生 活 中 关注 较 多 的 内 容 , 包括: 旅游 .动漫 .时尚 、 
美食 、 模 特 、 明 星 、 搞 笑 、 运 动 健身 、 星 座 、 艺 术 。 
最 终 选 择 图 像 区 分 度 最 高 且 最 为 用 户 关 注 的 5 类 ( 旅 
游 、 动 漫 、 时 尚 、 美 食 、 模 特 ) 作 为 用 户 兴 趣 的 分 类 体 
R, 原因 在 于 : 分 类 过 细 会 导致 重复 分 类 或 分 类 模糊 ， 
从 而 降低 实验 效果 ; 其 他 5 类 包含 较 多 的 视频 和 文本 信 
息 而 缺乏 图 像 数 据 , 不 利于 模型 的 训练 。 

基于 图 像 内 容 特征 识别 用 户 兴 趣 的 思想 在 文献 [24] 
中 已 有 所 涉及 ,该 文 首 先 利用 图 像 的 视觉 特征 识别 出 
每 张 图 片 所 属 的 兴趣 类 别 , 然后 整合 用 户 图 片 集中 的 
所 有 兴趣 ， 从 而 对 用 户 兴趣 进行 建 模 。 本 研究 的 创新 
在 于 ， 从 用 户 分 享 的 图 像 语 义 内 容 视角 识别 用 户 的 兴 
趣 偏好 ， 其 核心 思想 是 “ 若 某 些 语义 概念 及 对 象 在 用 
户 日 常 分 享 的 图 片 中 反复 出 现 ， 则 可 能 表现 出 用 户 对 


对 用 户 兴趣 建 模 方法 方面 , 已 有 研究 进行 了 大 量 探 
R, 但 大 都 是 基于 文本 数据 的 。 虽 然 也 有 少量 学 者 使 用 
图 像 信息 , 但 还 没有 通过 高 层 语 义 表达 用 户 兴 趣 的 成 
果 。 本 文 试图 依据 微 博 用 户 发 布 的 图 像 数 据 , 结合 图 像 
语义 (高 层 语义 ) 识 别 的 方法 , 对 用 户 兴趣 进行 建 模 。 


3 ”基于 图 像 语 义 的 用 户 建 模 方法 


3.1 ”问题 定义 

本 文 将 用 户 兴趣 识别 问题 转化 为 传统 的 分 类 问 
题 ， 即 根据 用 户 U 的 兴趣 特征 向 量 Um Qu. xo x3,…， 
xz 和 功能 函数 f, 判断 用 户 的 兴趣 类 别 Y=, y», 
ys s yi WK fU) Y, 其 中 六 代表 用 户 的 兴趣 类 
别 。 分 类 任务 的 核心 在 于 用 户 图 像 语义 特征 的 表达 和 
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于 某 类 兴趣 主题 的 偏好 ”。 因 此 , 在 文献 [24] 定 义 的 用 
户 兴 趣 识别 框架 中 ， 本 文 对 用 户 兴 趣 特征 表达 进行 创 
新 , 提出 一 种 新 的 用 户 兴 趣 特征 表达 方式 : 给 定 某 个 
用 户 U, 假设 其 在 特定 时 间 段 内 在 微 博 中 发 布 的 图 片 
集合 为 三 全 ,i2, is cis },n 表 示 图 片 的 数量 , 对 于 每 
一 张 图 片 i 包含 多 种 不 同 的 概念 和 对 象 (可 以 作为 图 
像 语 义 的 表征 ), 可 以 用 已 有 的 图 像 语 义 识别 技术 识别 
这 些 概念 及 对 象 的 特征 集合 F= {fi fos fs fo fo 
m 为 特征 数 , f 表示 该 图 像 包 含 语义 概念 j 的 概率 。 不 
同 兴趣 类 型 用 户 分 享 图 片 的 概念 特征 分 布 不 同 , 故 可 
据 此 预测 其 不 同 的 兴趣 。 

3.3 ”基于 图 像 的 用 户 兴趣 识别 

用 户 兴 趣 识别 以 用 户 兴 趣 特 征 为 基础 ， 可 从 文本 
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层面 和 图 像 层 面 展开 。 本 研究 基于 微 博 图 像 的 语义 特 
fiE, 运用 机 器 学 习 的 方法 对 每 张 图 像 所 属 的 兴趣 进行 
分 类 , 进而 识别 用 户 兴 趣 。 设 用 户 兴趣 分 类 体系 为 L 
={l, 12, 13,.…., 15, 对 于 用 户 U, 其 发 布 的 微 博 图 片 集 
4 E{ inin iss i n 表示 图 片 的 数量 , 基于 图 
像 语义 的 用 户 兴 趣 特 征 , 使 用 (Support Vector Machine， 
SVM) 训 练 得 到 图 像 语 义 分 类 模型 对 用 户 兴趣 类 别 进 
行 预测 ， 得 到 n 条 图 像 语 义 对 应 的 预测 类 别 列表 
P={pi, pz p3,…, 记 ,其 中 piEL。 

在 预测 类 别 列表 上 定义 一 个 计数 函数 count(x, P) 
表示 类 别 x 在 P 中 出 现 的 次 数 , 其 中 xEL。 将 eount(x, 
P) 的 值 由 高 到 低 排序 ， 选择 排序 靠 前 的 类 别 表示 用 户 
兴趣 。 


4 X R 


4. 数据 采集 及 处 理 
新 浪 微 博 共 有 48 个 热门 分 类 , 笔者 手工 获取 用 户 
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分 享 图 像 较 多 的 5 个 类 别 ,， BI: 旅游 、 时 尚 、 动 漫 、 模 
特 和 美食 , 再 从 5 个 类 别 上 获取 169 个 用 户 的 ID 号 和 
URL, 通过 Python 编程 抽取 粉丝 数 百 万 以 上 的 用 户 最 
近 分 享 的 300 张 图 片 ,最 终 共 疏 取 到 5 个 类 别 的 
50 700 张 图 像 , KHA 785 张 图 像 无 法 识别 , 选用 剩 下 
的 49 915 张 图 像 作为 数据 集 ， 每 张 图 像 都 会 对 应 相关 
联 的 ID 号 。 

这 里 的 图 像 是 指 用 户 发 表 一 条 图 文 微 博 中 所 配 
的 图 像 ， 具体 用 户 分 享 图 像 如 图 1 所 示 。 用 户 粉丝 超 
过 百 万 级 别 并 不 代表 该 用 户 真 正 属于 某 个 类 别 , 也 
无 法 证 实用 户 的 真实 兴趣 被 固化 ,因为 用 户 兴 趣 标 
签 是 自己 所 贴 ， 有 些 百 万 级 粉丝 用 户 通常 有 多 个 兴 
趣 标签 ， 可 以 解释 为 这 些 用 户 有 多 个 兴趣 类 别 , 用 户 
兴趣 标签 如 图 1 所 示 。 该 用 户 同时 具有 多 个 兴趣 标签 : 
A. SWR. "ET. Bey. BEBÉ. DER. WADE. E 
看 、 宅 、80 后 , 这 里 的 兴趣 标签 有 些 也 是 用 户 的 兴 
爱好 。 


mid 


999 道 私房 菜 加 ets 
16:01 来自 币 博 weibo.com 


分 享 饺 子 的 二 种 不 同 包 法 ， 学 会 后 可 以 在 家 人 面前 好 好 露 一 手 ! 


1 月 27 日 


图 1 用 户 分 享 图 像 及 用 户 兴 趣 标签 


5 个 类 别 中 , 有 785 张 图 像 利 用 训练 出 来 的 模型 
无 法 识别 , 这 些 图 像 主要 是 由 用 户 自行 合成 , 用 户 合 
成 图 像 主 要 是 指 用 户 将 多 张 图 像 合 成 一 张 图 像 ， 无 法 
识别 的 原因 在 于 识别 是 一 对 一 的 , 无 法 识别 一 对 多 ， 
模型 无 法 识别 的 图 像 如 图 2 所 示 。 

由 于 本 文 研究 目的 在 于 “探讨 用 户 分 享 图 像 中 的 语 
义 概 念 是 否 能 够 表征 用 户 的 兴趣 倾向 ” 因此 将 169 个 用 
户 分 为 5 个 类 别 , 如 表 1 所 示 。 

42 ”实验 设置 

(1) 用 户 兴趣 的 特征 抽取 

笔者 以 用 户 分 享 图 像 中 的 概念 分 布 作为 用 户 兴 
特征 。 对 于 任意 一 副 图 像 i, 在 Caffe 深度 学 习 框 架 上 ， 


表 1 5 个 类 别 用 户 和 图 像 数 目 


用 户 类 别 用 户 总 计 图 像 总 计 
旅游 42 12 530 
时 尚 40 11 901 
动漫 37 10 751 
模特 30 8 833 
美食 20 5 900 
总 数 169 49 915 


通过 Google 开源 GoogLeNet 深度 神经 网 络 呈 抽取 图 
像 中 包含 的 语义 概念 分 布 FF {fn fin fi, i Simyo 使 用 
GoogLeNet 的 原因 在 于 其 具有 较 高 的 图 像 概 念 识 别 
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图 2 模型 无 法 识别 图 像 


准确 率 ,并且 在 图 像 语 义 挖 气 上 排名 第 一 ,而 且 消 
耗 的 计算 资源 较 少 。 对 于 用 户 U 的 图 像 集合 IG, 
b, ice, in } 其 用 户 兴 趣 特征 向 量 (语义 概念 分 布 ) 
如 公式 (D) 所 示 ， 其 中 n 为 用 户 U 分 享 的 图 像 数 。 

以 = 也 (1) 


ie; M 


Q) 用 户 兴趣 识别 

将 用 户 兴趣 识别 转化 为 分 类 问题 , 并 采用 支持 向 
量 机 算法 作为 分 类 器 ,支持 向 量 机 在 高 维 模式 识别 中 
具有 很 强 的 优势 。 

选择 LIBSVM 开源 工具 包 作 为 实现 用 户 兴 趣 分 类 
识别 的 软件 工具 。 


(1) 数据 组 织 

将 169 位 用 户 的 兴趣 特征 向 量 (语义 概念 分 布 ) 作 
为 所 有 样本 。 且 把 每 个 样本 的 特征 按照 一 定 的 数据 格 
式 表 示 为 一 个 向 量 , 具体 格式 为 : label  L:value 1 
2:value 2 3:value 3……: o Jh label 是 数据 集 的 类 别 
编号 , 这 里 有 travel( 旅 游 )、fashion( 时 尚 )、comics( 动 
漫 )、model( 模 特 )、food( 美 食 )5 个 类 别 , 编号 为 0、1、 
2、3、4。1、2、3 表示 特征 的 序号 ; valuel 、value2、 
value3 表示 图 像 特 征 的 数据 ， 从 分 类 的 角度 来 说 就 是 
特征 值 ,数据 之 间 用 空格 隔 开 ,通过 实验 得 出 每 位 用 
户 分 享 的 图 像 有 1 008 维特 征 向 量 ,也 就 是 1008 个 特 
征 值 ， 如 图 3 所 示 。 


1 01:0.000171270078283 2:0.000122327846587 3:0.000201680006383 4:0.00027402227261 5:0.000149800721617 6:0.000144160650034 7:0.0002089494127 8 
2 0 1:0.000166640336393 2:0.000121749421823 3:0.000195082849023 4:0.00046432982074 5:0.00016025654958 6:0.000271265207863 7:0.0002964380032 8: 
3 0 1:0.000184886379015 2:0.000156389703675 3:0.000189384235429 4:0.00026776633764 5:0.000198341772862 6:0.000208294686775 7:0.000196852329137 
4 1 1:0.000172340130133 2:0.000131206749633 3:0.0001306223754 4:0.0002577070882 5:0.0002656946452 6:0.0001885452836 7:0.000147113615967 8:0.00 
5 1 1:0.000152537657858 2:0.000132833902743 3:0.00013472276923 4:0.000223984320815 5:0.000246809812482 6:0.000170282586294 7:0.000284509297875 
& 2 1:0.000168067198054 2:0.000142649091232 3:0.000145894882819 4:0.000439860355144 5:0.00017040255802 6:0.000174653341477 7:0.000138976981245 
7 0 1:0.000156563692866 2:0.000119151943853 3:0.000200917352839 4:0.000242182793078 5:0.000131891316708 6:0.000133640180508 7:0.00017080927553 
8 2 1:0.000178961851235 2:0.000408252875438 3:0.00035064152534 4:0.000365916163512 5:0.000299052246981 6:0.000249599319539 7:0.000200275127407 
8 O 1:0.000167132046557 2:0.000103686545751 3:0.00015037593226 4:0.000247869080106 5:0.000120619024751 6:0.000157573215645 7:0.00015272619124 
10 O 1:0.000147666406967 2:0.000160230070467 3:0.000206178515067 4:0.000258572794333 5:0.0001331247431 6:0.00014924555148 7:0.000246904966333 8 
11 3 1:0.000182830105133 2:0.000127110020687 3:0.000151171380533 4:0.000233407829417 5:0.00018458037462 6:0.000167026413313 7:0.00016644531637 
12 2 1:0.000169236110173 2:0.000112718759827 3:0.000193813475017 4:0.000217198272803 5:0.000145246888412 6:0.000170564349266 7:0.00013778741138 


图 3 特征 值 


一 化 处 理 , 设置 参数 -t 核 函 数 类 型 为 (RPE KZ), 
-SSVM 类 型 为 1(v-SVC)。 归 一 化 处 理 后 使 用 svm- 
train.exe 命令 对 数据 集 进 行 训练 , 生成 训练 模型 ; 最 


Q) 参数 选择 
采用 支持 向 量 机 求解 分 类 问题 , 关键 是 核 函 数 与 
参数 的 选择 。 在 实验 过 程 中 , 笔者 将 数据 集 先进 行 归 


EN 数据 分 析 与 知识 发 现 


201711.01938v1 


chinaXiv 


后 使 用 svm-predict.exe 命令 通过 训练 模型 预测 结 

(3) 验证 方法 

本 次 实验 采用 K 折 交叉 验证 ,k 值 为 10， 即 将 5 个 
类 别 的 169 个 用 户 分 成 10 份 , 每 份 都 是 相同 数量 的 用 
户 , 大 约 17 个 , 轮流 将 其 中 9 份 作为 训练 数据 , 1 份 作 
为 测试 数据 ,进行 验证 , 每 次 实验 都 会 得 出 相应 的 正 
确 率 , 将 10 次 结果 的 正确 率 计算 出 总 和 , 然后 再 求 出 
10 次 总 和 的 均值 ， 作 为 对 算法 准确 性 的 评估 , 这样 可 
以 很 好 地 解决 过 拟 合 问题 。 通 过 实验 最 后 得 出 Cross 
Validation Accuracy = 89.3491%, 说 明 数 据 集 和 模型 构 
建 稳定 。 
43 结果 评价 

最 终 实验 评测 标准 参数 为 :P 准确 率 、R 召回 率 、 
F fH, WK 2 所 示 。 
X2 用 户 兴趣 分 类 识别 效果 


兴趣 类 型 P 准确 率 R 召回 率 F 值 
旅游 100% 100% 100% 
时 尚 95.56% 100% 97.73% 
动漫 94.59% 94.59% 94.59% 
模特 96.77% 100% 98.36% 
美食 100% 100% 100% 
微 平均 97.17% 98.81% 97.98% 
宏 平均 97.38% 98.92% 98.14% 


实验 结果 表明 , 训练 出 的 模型 预测 用 户 兴趣 类 别 ， 
准确 率 为 97.38%， 召回 率 为 98.92%, 上 值 98.1496, H 
有 很 高 的 准确 率 和 召回 率 , 分 类 效果 好 。 
图 像 兴趣 识别 模型 在 时 尚 、 动 漫 和 模特 类 别 上 效 
果 没 有 其 他 类 别 好 , 这 是 因为 时 尚 类 别 的 图 像 语义 不 
太 好 表达 , 时 尚 类 别 图 像 基 本 上 包括 : 服饰 、 人 物 、 外 
景 、 食物 、 建 筑 、 艺 术 品 等 , 图 像 内 容 跨 度 较 大 , 时尚 
的 概念 太 过 宽泛 ,每 位 用 户 对 时 尚 图 像 的 理解 不 一 样 ; 
动漫 类 别 图 像 噪声 比较 大 , 合成 图 比较 多 , 一 张 图 像 
划分 成 好 几 块 小 图 像 ， 且 动漫 类 图 像 内 容 也 较为 杂 ， 
包括 : 动物 、 小 孩 、 人 物 装饰 等 ; 模特 类 别 图 像 内 容 包 
含 的 内 容 也 较为 丰富 , 如 : 人 物 、 服 饰 、 外 景 等 , 在 语 
义 识 别 上 有 一 定 的 模糊 度 。 很 显然 , 旅游 图 像 语义 具 
有 很 明显 和 独特 的 视觉 语义 特征 ,图 像 内 容 比 较 好 识 
别 ; 而 美食 图 像 颜色 较为 相近 , 图 像 内 容 和 语义 特征 
都 具有 相似 性 , 所 以 识别 效果 较 好 ,同时 也 说 明 图 像 
语义 与 类 别 之 间 存 在 一 定 的 内 在 联系 。 
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此 外 , 图像 高 层 语义 并 没有 一 个 完整 的 特征 分 类 
体系 , 高 层 语义 特征 表现 形式 和 内 容 较 为 复杂 ， 如 : 
行为 语义 (迁移 、 进 攻 、 超 越 等 ); 场景 语义 (风景 、 街 
道 、 房 屋 等 ); 情感 语义 (快乐 、 痛 苦 、 平 静 等 )。 本 次 
实验 图 像 所 展示 的 高 层 语义 大 多 都 是 基于 场景 和 对 
象 ( 人 物 、 动 物 、 食 物 ), 在 图 像 语义 和 特征 值 上 具有 
高 度 的 相似 性 ,所 以 在 图 像 语 义 识别 上 准确 率 较 高 ， 
分 类 效果 较 好 。 


5 结 语 


本 文 提出 构建 基于 图 像 语义 的 用 户 兴趣 模型 ,分 
析 了 社交 网 络 环境 下 用 户 兴趣 类 别 图 像 信 息 特点 , 通 
过 社交 网 络 中 用 户 分 享 图 像 建 模 和 语义 挖掘 技术 实现 
图 像 语 义 识别 , 实验 得 出 召回 率 、 准 确 率 和 F 值 平 均 
值 在 97% 以 上 , 用 户 图 像 兴趣 识别 效果 较 好 , 实验 结 
果 证 明了 算法 的 有 效 性 。 此 外 , 需要 完善 之 处 在 于 分 
类 应 尽 可 能 包含 更 多 类 别 , 数据 集 应 尽 可 能 多 , 需要 
花 更 长 的 时 间 对 数据 进行 分 析 和 加 工 。 不 足 之 处 , 用 
户 的 兴趣 不 仪表 现在 图 像 分 享 , 而 且 在 文本 挖掘 领域 
也 可 以 被 很 好 地 利用 , 所 以 将 图 像 和 文本 结合 的 方式 
更 能 够 反应 用 户 的 兴趣 ; 其 次 , 本 次 实验 爬 取 的 数据 
仅仅 只 是 某 个 时 间 段 用 户 分 享 的 图 像 。 随 着 时 间 的 变 
化 用 户 分 享 的 图 像 也 会 发 生变 化 , 而 用 户 兴趣 是 否 发 
生 漂 移 现象 需要 进一步 验证 ; 还 可 以 开展 基于 图 像 语 
义 的 用 户 个 性 化 推荐 研究 工作 ; 另外 , 还 可 以 研究 基 
于 多 标签 的 用 户 兴趣 图 像 识别 。 
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Modeling User's Interests Based on Image Semantics 
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Abstract: [Objective] This paper aims to predict the user's interests accurately with a new modeling method based on 
the semantics of images shared on the microblogs. [Methods] First, we crawled the image data of Sina microblogging 
users. Then, we used high-level semantic information from these images. Finally, we predicted user's interests based on 
the image semantic classifier by the SVM training. [Results] The proposed method could predict user's interests 
effectively. Among the 169 Sina microblogging users, the precision, recall and F-values were 97.3896, 98.92% and 
98.14%, respectively. [Limitations] The size of the test corpus needs to be expanded to have more comprehensive 
results. [Conclusions] The proposed model could predict user's interests effectively, which lays some theoretical and 
technical foundations for the application of high-level image semantics. 
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